创意素描或涂鸦是一种表达活动,在那里绘制了想象力和以前看不见的日常视觉物体的描述。创意草图图像生成是一个具有挑战性的视觉问题,任务是生成不同但现实的创意草图,拥有视觉世界对象的看不见的构成。在这里,我们提出了一种新颖的粗待精细的两级框架,DooDleformer,将创意草图生成问题分解成粗略草图组合物的创建,然后在草图中掺入细节。我们介绍了图形感知的变压器编码器,可有效地捕获了不同身体部位之间的全局动态以及局部静态结构关系。为确保所生成的创意草图的多样性,我们介绍了一个概率粗略草图解码器,该解码器明确地模拟了要绘制的每个草图身体部位的变化。在两个创意素描数据集上进行实验:创意鸟类和创意生物。我们的定性,定量和以人为主的评估表明,DooDleformer在两个数据集中表现出最先进的,屈服于现实和多样化的创意草图。在创意生物上,DooDleformer通过最先进的FR`chet unception距离(FID)来实现25的绝对增益。我们还展示了DoodleFormer对创意草图生成和草图完成的相关申请的有效性。
translated by 谷歌翻译